Тема работы: "Структура и организация WEB-сервисов тестирования знаний на базе инфраструктуры Интернет."
Руководитель: доцент кафедры ЭВМ Аноприенко А. Я.

Контроль и оценка знаний занимают в учебном процессе очень важное место. Они выполняют одновременно функцию проверки усвоения и практического применения студентами и учениками полученных во время учебного процесса знаний, а также функцию стимулирования, морального поощрения за счет участия в своеобразном интеллектуальном соревновании. Существуют два типа систем контроля знаний:

1. ориентированные на прохождение студентами тестов в письменной форме с дальнейшей проверкой вручную преподавателем (как вариант - сканирование результатов тестирования с целью их дальнейшей автоматизированной проверки);
2. системы компьютерного тестирования с соответствующим наполнением тестовыми материалами.

Системы первого типа сформировались вместе с другими элементами системы образования исторически и на сегодняшний день не выдерживают никакой критики, так как имеют множество недостатков: невозможность автоматической обработки результатов тестирования, большое количество рутинной работы, которая ложится на преподавателя при такой организации тестирования, очень малая скорость обработки результатов и главный недостаток - необъективность оценок тестирования, их условный приблизительный характер. В сегодняшних условиях стремительного роста информационных технологий неавтоматизированные системы тестирования знаний (которые, кстати, остаются наиболее распространенными) выглядят архаично. Поэтому очень актуальной задачей является автоматизация процесса контроля знаний, разработка компьютерных систем тестирования. Преимущества автоматизированных систем тестирования очевидны, они позволяют:

- освободить преподавателя от рутинной работы при проведении экзаменов и промежуточной оценке знаний в традиционном учебном процессе, а при обучении с использованием дистанционных технологий становятся основным средством контроля
- автоматизировать обработку результатов, облегчают и повышают качество анализа прохождения учебного процесса по результатам тестирования
- обеспечивают объективность контроля знаний
- использовать в тестах мультимедийные возможности компьютеров
- повышают оперативность тестирования
- предоставляют возможность централизованного анализа качества подготовки большого числа тестирующихся по широкому кругу вопросов (это позволяет определить разделы, которые представляют наибольшую сложность в изучении, и корректировать процесс обучения в зависимости от результатов тестированию)
- уменьшают затраты на организацию и проведение тестирования

Возможности Интернет, которые позволяют найти и предоставить любую необходимую информацию не выходя из дома или университетской аудитории, делают ее одним из наиболее эффективных инструментов обучения. Поэтому создание моделей систем тестирования на базе инфраструктуры Интернет является перспективной и актуальной научной задачей. К тому же современная международная интеграция учебного процесса, территориальная распределенность учебных заведений, разнородность аппаратного и программного обеспечения и одновременное тотальное распространение Интернет делают любые локальные модели реализации систем автоматического тестирования нежизнеспособными.

На сегодняшний день существует множество систем тестирования на базе инфраструктуры Интернет, которые в той или иной мере удовлетворяют общим требованиям к WEB-сервисам. Но ни одна из этих систем не может претендовать на универсальность. Эти системы либо ориентированны на решение локальных задач относительно контроля знаний учеников конкретного учебного заведения, организации, или предназначены лишь для “внешнего” использования (во время организации межвузовских, или межклубных интеллектуальных соревнований). Научная новизна работы состоит в разработке такой модели организации WEB-сервиса тестирования знаний на базе инфраструктуры Интернет, которая обеспечивала бы возможность использования ее как для служебного тестирования в рамках конкретной организации (университета, предприятия), так и для проведения открытых межвузовских студенческих викторин.

Прежде всего система тестирования должна исправно и эффективно работать по назначению, выполнять возложенные на нее функции. Поэтому перед формированием модели WEB-сервиса тестирования надо четко очертить набор функций и требований к нему. Ниже приведен перечень важнейших функций, характеристик и требований к системам тестирования:

- важнейшая функция - обеспечение эффективного тестирования знаний
- универсальность с точки зрения использования для внутреннего и открытого тестирования
- гибкая, точная и способная к адаптации оценка результатов тестирования
- интеллектуальный анализ тестов с целью оценки качества, пригодности отдельных вопросов и выявление некорректно сформированных, или просто неправильных вопросов
- отсутствие твердой привязки к какого-нибудь предмету, области знаний
- легкость создания и модификации тестов
- сбор, сохранение и представление в удобной форме разнообразной статистической информации относительно процесса тестирования
- возможность одновременного тестирования неограниченного количества пользователей
- отсутствие жесткой привязки к конкретному аппаратному и программному обеспечению
- высокая безопасность, защищенность и стабильность
- легкая наращиваемость, масштабируемость системы
- неограниченное количество тестов, тем, вопросов и вариантов ответов на них
- удобный и эффективный импорт и экспорт тестов
- контроль времени тестирования и сохранение информации относительно прерванного сеанса тестирования
- поддержка безопасного и универсального механизма управления пользователями с распределением прав доступа
- возможность использования в тестах графического и звукового материала, рисунков, анимации, видео роликов

На отдельных важнейших функциях надо остановиться отдельно. Так эффективное тестирование знаний состоит из многих составляющих. Эта задача принадлежит к предметной области педагогики. Для ее решения надо провести анализ существующих типов тестов и выявить их пригодность и эффективность для применении в системах тестирования на базе инфраструктуры Интернет. Также необходимым является соответствие государственным и международным стандартам (наиболее распространенный из которых IMS QTI - Information Model Specification Question & Test Interoperability). Решению этой задачи в работе посвящен отдельный раздел. Возможность использования для внутреннего и открытого тестирования, которая является уникальной чертой, отсутствующей у всех аналогичных систем, достигается путем построения системы по гибкой архитектуре, которая предусматривает использование в обеих режимах, и путем распределения пользователей системы по ролям, поддержкой разной системы оценок. Например, для пользователя “свой студент” надо вести систему оценок, которая отвечала бы учебному плану университета, а для “чужого”, внешнего пользователя надо вести другую, накопительную систему оценки успешности тестирования. Этот вопрос тесно связан с функцией поддержки безопасного и универсального механизма управления пользователями с распределением прав доступа. Система тестирования должна иметь пользователей разного типа со своими правами, которые обеспечивают доступ к разным функциям и модулям системы. Можно выделить пользователей следующих типов: “свой” студент, студент (не принадлежит к заведению, на котором базируется система), преподаватель, автор тестов, администратор. Пользователи расположены в порядке увеличения прав доступа в системе.

Для обеспечения гибкой, точной и способной к адаптации оценки результатов тестирования и интеллектуального анализа тестов с целью оценки качества, пригодности отдельных вопросов и выявление некорректно сформированных, или просто неправильных вопросов система должна собирать статистическую информацию относительно ответов на вопросы тестов и периодически выполнять анализ собранной информации. В литературе, которая касается теории тестирования знаний (и в описаниях разнообразных систем тестирования знаний) существует много мнений относительно вопроса назначения количества баллов за правильный ответ и относительно отбора и фильтрования ответов для теста. Простейшим решением является присвоение всем вопросам одинаковой цены в 1 балл. Но такой алгоритм является очень неэффективным, так как понятно, что все вопросы имеют разную степень сложности и невозможно подобрать для теста все вопросы одинакового уровня. Введение возможности присвоения разного количества баллов за ответы на вопрос разного уровня сложности требует объективной оценки сложности вопроса. Для этого нужно или провести качественную экспертную оценку отдельных вопросов теста, или возложить задачу балансирования и оценки сложности своих вопросов на авторов тестов. Авторы тестов не всегда могут объективно оценить сложность своих вопросов, поэтому положиться лишь на их субъективную мысль нельзя. Процесс экспертной оценки и отбора вопросов для теста в первом приближении выглядит следующим образом:

1. авторы тестов формируют базу вопросов, для тестирования собираются несколько пробных групп разного уровня квалификации
2. все группы проходят тестирование и на базе его результатов каждому вопросу присваивается индекс сложности, который равняется отношению количества правильных ответов к общему количеству ответов
3. вопросы, которые имеют слишком низкий (очень сложные, или некорректно сформулированные) или очень большой (слишком легкие) индекс сложности изымаются из теста.

Такая процедура является очень сложной, дорогой и длинной. Для решения проблемы автоматизации фильтрования и оценки сложности вопросов теста в системе тестирования нужно сохранять статистическую информацию относительно ответов на каждый вопрос и на ее базе формировать для каждого вопроса индекс сложности. Вопросы с высоким индексом сложности (легкие) надо оценивать небольшим количеством баллов, но в случае неправильного ответа на такой вопрос нужно снимать большее количество баллов (грубая ошибка, незнание основ предмета - легчайших вопросов). Вопросы с низким индексом сложности (сложные) нужно оценивать большим количеством баллов, а в случае неправильного ответа наоборот снимать небольшое количество баллов (нельзя жестко штрафовать незнание тончайших нюансов предмета). Вопросы с очень низким индексом сложности нужно изымать из теста для экспертной проверки администратором и визирования на корректность, или предоставлять возможность пропуска вопроса, так как у таких вопросов большая вероятность ошибки автора теста. Математическому обоснованию оценки сложности вопросов и фильтрованию некорректных вопросов на базе статистической информации относительно ответов на вопросы посвящен отдельный раздел работы.

Функциональные требования к WEB-сервису тестирования на базе инфраструктуры Интернет настолько широкие и разнотипные, что нет смысла закладывать их все в один модуль. Наиболее рациональной является многомодульное построение, в составе которого можно выделить следующие компоненты:

1. Подсистема тестирования.
2. Подсистема создания, подготовки и редактирования тестов.
3. Подсистема статистических данных относительно успешности прохождения испытаний.
4. Подсистема управления пользователями.
5. База данных вопросов и связанной с ними статистической информации.
6. База данных пользователей.

В основе большинства существующих WEB-сервисов как клиент-серверных систем лежит язык HTML. Базирующиеся на этом языке системы потенциально имеют следующие преимущества:

- отсутствие зависимости от операционной системы.
- отсутствие необходимости в установке и настраивании клиентской части.
- отсутствие проблем с передачей данных в сети Интернет (конфликты с системами защиты типа FireWall исключены, так как используются стандартные протоколы и порты доступа).

Но использование HTML в “чистом” виде без дополнительных инструментов имеет следующие недостатки:

- статичность, отсутствие динамики при работе с пользователем
- язык HTML ориентирован на представление данных, а не на их создание, что очень усложняет редактирование уже созданных данных. Это является проблемой многих систем, основанных на WEB - интерфейсе без применения дополнительных инструментов
- очень ограниченные возможности относительно использования анимации, звука, видео, разнообразных сложных объектов (типа формула и др.)

Поэтому для создания полноценного WEB-сервиса тестирования знаний на базе инфраструктуры Интернет необходимо кроме языка HTML использовать дополнительные инструментальные средства. Среди таких средств необходимо назвать прежде всего Java Script, Java, Macromedia Flash для повышения уровня мультимедийности.

Наличие в системе базы данных вопросов и базы данных пользователей диктует необходимость выбора средств создания и работы с этими базами. Для этого существуют следующие альтернативные варианты:

- хранение в двумерных файлах
- использование специализированных реляционных баз данных

Использование данных в файлах является очень простым, но малоэффективным способом из-за наличие большого количества проблем, связанных с их использованием: сложность работы с файлами большого размера, сложность поиска (особенно по шаблону), проблемы конкурирующего доступа, сложность записи данных в середину файла, отсутствие средств обеспечения разных уровней доступа к данным. Все эти проблемы решаются при использовании систем управления реляционными базами данных (СУРБД). На сегодняшний день существует несколько конкурирующих СУРБД:

- MySQL
- PostgreSQL
- Microsoft SQL Server
- Oracle
- ASE

Все эти продукты используют язык SQL (Structured Query Language), который используется по всему миру как стандартный язык запросов к базам данных. MySQL среди этих продуктов обладает многими преимуществами. Это прежде всего производительность. Согласно тестам производителя, которые представлены на рисунке ниже, MySQL работает намного быстрее конкурирующих продуктов. Также среди преимуществ MySQL над конкурентами можно назвать низкую стоимость (пакет распространяется бесплатно, при необходимости можно за небольшую сумму приобрести лицензию), транспортабельность (MySQL можно использовать в разных UNIX-подобных системах а также в среде Microsoft Windows), а также возможность доступа к исходному коду продукта с целью выгрузки и внесения необходимых изменений. Поэтому при создании подсистем баз данных WEB-сервисов тестирования знаний наиболее целесообразно использовать MySQL.

Подсистемы тестирования, создания тестов, статистических данных, управления пользователями должны быть доступны через WEB-интерфейс и одновременно обеспечивать высокий уровень интерактивности. Это создает предпосылки для использования серверного языка создания сценариев. Наиболее распространенные языки этого типа: PHP, Microsoft Active Server Pages, Java Server Pages и Allaire Cold Fusion. PHP имеет множество преимуществ по сравнению с этими продуктами, среди которых: высокая производительность по сравнению с конкурентами (по данным компании Zend Technologies http://www.zend.com), возможность интеграции с базами данных, в том числе с MySQL, множество встроенных библиотек, бесплатность, транспортабельность, возможность доступа к исходному коду продукта с целью выгрузки и внесения необходимых изменений. Поэтому PHP является наиболее рациональным инструментом для построения WEB-сервисов тестирование знаний на базе инфраструктуры Интернет.

Существует много систем автоматизированного тестирования знаний, среди них ориентированными на WEB-интерфейс и наиболее известными являются системы Neyron (http://www.neyron.ru), OpenTEST (http://www.opentest.com.ua).

Система компьютерного тестирования OpenTEST предназначена для контроля уровня знаний студентов (пользователей) с использованием тестовых задач в локальном и сетевом (клиент-сервер) вариантах. Система Open TEST позволяет решать следующие задачи:

- создание тестов закрытого типа, их редактирование, экспорт/импорт в систему
- проведение тестирования в локальном сетевом классе или через Интернет
- экспертная оценка отдельных вопросов теста, или теста в целом

В продукте Open TEST использован WEB-ориентированный язык PHP, а также язык HTML, XML, Java Script. Для хранения всей информации используется база данных MySQL. Система состоит из нескольких отдельных модулей, которые работают с общей базой данных. Перечень модулей и их основные функции приведены ниже:

1. “Тестирование” - проведение сеансов тестирования, не имеет специальных прав доступа.
2. “Студия тестов” - создание и редактирование тестов, тем, вопросов, управление правами доступа к тестам, импорт/экспорт XML.
3. “Студия пользователей” - создание и управление группами пользователей, установление и редактирование прав доступа к тестам.
4. “Статистика” - просмотр результатов тестирования пользователей, выдача оценочных характеристик, гистограмм, журналов проведения тестирования.
5. “Зона администратора ” - контроль за прохождением сеансов тестирования.

Система Open TEST отвечает большому количеству требований к современному WEB-сервису тестирования знаний, но в ней присутствует большое количество недостатков, главные из которых:

- слабая, неразвитая система оценки сложности и фильтрования вопросов в тесте, которая базируется на однобалловой оценке всех вопросов, личной ответственности авторов тестов за корректность и балансирование сложности вопросов в тесте
- негибкое построение, которое не разрешает использовать систему для “внешнего” тестирования в режиме викторины, а лишь для внутреннего тестирования студентов.

Система Neyron представляет собой “открытую” систему тестирования знаний. Все функции системы сосредоточенны в одном модуле (что не отвечает требованиям к современной гибкой системе тестирования). Тесты в системе формируются из 5 случайным образом подобранных вопросов. Каждый вопрос характеризуется предметом, к которому он принадлежит, количеством баллов за ответ (баллы прибавляются в общий банк пользователя при правильном ответе и отнимаются в том же количестве при неправильном ответе), и уровнем сложности (от 1 до 5). Перед прохождением теста нужно выбрать уровень сложности. Чем выше уровень сложности вопроса, тем больше баллов он стоит. Единым показателем успешности пользователя является общее количество баллов, набранное на протяжении тестирования. Характерной особенностью системы Neyron является использование тотализатора - системы ставок на вопрос. Перед началом теста пользователь может поставить из своего фонда баллов ставку на каждый из вопросов (размер ставки ограничен и зависит от уровня сложности теста), таким образом повысив стоимость вопроса. Также каждый день избирается и вознаграждается дополнительными баллами тройка игроков, которая набрала наибольшее количество баллов на протяжении суток. Все игроки при регистрации указывают свое учебное заведение, таким образом в системе есть возможность получить статистические данные по успеваемости учебных заведений. Пополнение базы вопросов выполняется самими игроками, при этом они указывают стоимость вопроса, уровень его сложности, принадлежность к определенному предмету.

Система Neyron не отвечает большему количеству требований к современной системе тестирования знаний. Ее единственным (но очень большим) достоинством является удачное объединение параметров тестирования, введение игровых моментов, тотализатора для успешного использования в межвузовских викторинах. Среди главных недостатков системы можно назвать:

- полная непригодность к использованию в учебном процессе
- условная и неэффективная система начисления баллов за правильный ответ
- наличие тотализатора, который делает невозможным академическое использование (но повышает азарт, поощряет игроков во время межвузовских соревнований)
- отсутствие механизма сохранения статистики , просмотра информации относительно количества вопросов, на которые уже ответил игрок (правильно или неправильно), принадлежности их к предмету и уровня сложности
- неэффективная система пополнения базы вопросов и их фильтрования, в которой присутствует высокая вероятность занесения и сохранения в системе некорректных вопросов

Был проведен анализ существующих WEB-сервисов тестирования знаний на базе инфраструктуры Интернет, выявлены их достоинства и недостатки. Также был сформирован комплекс функциональных требований к подобному роду WEB-сервисов, разработана модель структуры системы и избраны наиболее эффективные инструментальные средства для реализации системы: система состоит из подсистем тестирования, создания тестов, статистических данных, управление пользователями, которые разрабатываются с помощью HTML, PHP, Java Script и подсистем базы данных пользователей и базы данных вопросов, которые реализуются с помощью MySQL.